amek zbudowany został w końcu XIII wieku. Była to budowla obronna składająca się z kilku budynków drewnianych a mianowicie: głównego dworu mieszkalnego, dwóch oficyn, kuchni i piekarni, budynku gubernatora, spichlerza. Wjazd do zamku prowadził przez bramę a poprzedzał go most przerzucony nad fosą. Całość otaczała drewniana palisada oraz wały ziemne a głównym punktem obrony była murowana wieża. Powstała w latach 1271 - 1288 na planie okręgu. Jej średnica wynosi 13,5 metra, wysokość 30 metrów a grubość muru to 2,5 metra. Wieża posiadała pięć kondygnacji oddzielonych od siebie drewnianym stropem. Od drugiego piętra wejście na szczyt prowadziło po ceglanych schodach. Materiał jaki wykorzystano do jej budowy to czerwona cegła. W ścianach znajdują się wysokie i wąskie strzelnice. Na zewnątrz wieżę wieńczy krenelaż natomiast od wewnątrz widoczne są pozostałości sklepienia żebrowanego. Na nim to pierwotnie opierał się drewniany ganek. 
  Około 1319 roku miasto zdobyte zostało przez wojska litewskie wielkiego księcia Giedymina. Dwadzieścia lat później zamek jest w rękach króla polskiego Kazimierza Wielkiego lecz w 1366 roku powraca do Litwy.
  Lata 1375 - 79 to kolejne najazdy krzyżackie i częściowe zniszczenie warowni. Później następuje przechodzenie zamku z rąk do rąk podczas wojny domowej książąt litewskich. Ostatecznie w 1389 roku zamek i miasto zdobywa Władysław Jagiełło i przekazuje go Zyndramowi z Maszkowic miecznikowi krakowskiemu.
  Rok 1500 to oblężenie miasta przez ordę tatarską pod wodzą chana Mengli Gireja. 15-to tysięczna armia tatarska nie była jednak w stanie zdobyć warowni.
  Podczas wojny polsko - moskiewskiej (1654 - 1667) zamek uległ zniszczeniu lecz został odbudowany.
  W 1771 roku właścicielem miasta i zamku był oboźny koronny litewski Michał Wielhorski i wtedy to są jeszcze wzmianki o zamku w Kamieńcu lecz już w następnych latach pozostają z niego tylko ruiny, które stoją do początku XIX wieku.
  W 1903 roku odremontowano zamkową wieżę i od 1960 roku znajduje się w niej muzeum krajoznawcze.
  Wieża ta jest jedynym na Białorusi zabytkiem architektury wojennej pochodzącym z XIII wieku.